[В продолжение темы kelijah.livejournal.com/154769.html]

Синтаксический разбор предложения "Глокая куздра штеко будланула бокра и курдячит бокрёнка" силами только модуля несловарной морфологии в текущей разрабатываемой версии.

Рендеринг синтаксического дерева:( Read more... )

Проверяю, как  shift-reduce парсер разбирает разные предложения. Заметил следующее. Парсер склонен присоединять предложный паттерн к глагольному сказуемому. Вероятно, это чисто статистический артефакт. Top-down парсер в некоторых ситуациях больше учитывает семантику и присоединяет предлог с объектом к существительному.

Исходное предложение: ( Read more... )

Я решил попробовать переделать текущую реализацию группы правил, которые парсят группу прилагательного, к примеру:

Роботизированный российский грузовой космический корабль пристыковался к станции

В данном случае группа прилагательного выступает в роли атрибута для имени существительного.

Сейчас, после переделки правил, результат разбора выглядит так:
( Read more... )

Последний конструктивный элемент русского предложения, который до последнего времени разбирался по-старому.

Сегодня я переписал все релевантные правила на двухфазный восходяще-нисходящий алгоритм. Этот же алгоритм использован для всех остальных базовых составляющих предложения: для группы существительного (местоимения и смеси), для группы ( Read more... )

Добавил в парсер правила для обработки обособленных определений, вводных и модальных фраз, и оборотов детализации и пояснения.

1. Обособленное определение, в данном случае причастный оборот "зарубленные топорами", прикрепляется к корневому элементу сказуемого, с расчетом на то, что следующий (пока нереализованный) этап прикрепит этот фрагмент к ( Read more... )

Преамбула: нисходящий и праворекурсивный разбор

Алгоритм разбора предложения в первоначальном виде был нисходящим, то есть разбор всегда начинался с начального нетерминала S, который затем рекурсивно заменялся более подробными цепочками, вплоть до конкретных токенов ( Read more... )

Сделал в нисходящем парсере экспериментальное расширение, которое вплотную приближает его возможности в плане устойчивости к появлению неразбираемых фрагментов в предложении к восходящему алгоритму.

Расширение полностью интегрировано в основной алгоритм, поэтому никаких переписываний набора правил не требуется. Достаточно добавлять в набор новые ( Read more... )

достигается, если включить использование статистически натренированной вероятностной модели русской морфологии.

Другими словами, beam search при нисходящем парсинге + вероятностная модель морфологии позволяют даже при детерминированном жадном режиме достигать очень хороших результатов:

с моделью: 0.86% грубых ошибок
без модели: 7% грубых ошибок

( Read more... )